tests: Skip /var test if running with systemd and libmount

If running with systemd and libmount then /var mounting is deferred for
systemd. Skip the relevant tests in this case as it will always fail.

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

build: Expose systemd in OSTREE_FEATURES

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

test-switchroot.sh: Exclude /proc from file list

Since we're not interested in any file inside /proc, exclude it from the
file listing in our fake root thus avoiding failures when processes die
during our execution and find(1) can't then look inside those
directories.

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

Merge pull request #1767 from cgwalters/sysroot-mnt-namespace

Support mounting /sysroot (and /boot) read-only

Support mounting /sysroot (and /boot) read-only

We want to support extending the read-only state to cover `/sysroot`
and `/boot`, since conceptually all of the data there should only
be written via libostree.  Or at least for `/boot` should *mostly*
just be written by ostree.

This change needs to be opt-in though to avoid breaking anyone.

Add a `sysroot/readonly` key to the repository config which instructs
`ostree-remount.service` to ensure `/sysroot` is read-only.  This
requires a bit of a dance because `/sysroot` is actually the same
filesystem as `/`; so we make `/etc` a writable bind mount in this case.

We also need to handle `/var` in the "OSTree default" case of a bind
mount; the systemd generator now looks at the writability state of
`/sysroot` and uses that to determine whether it should have the
`var.mount` unit happen before or after `ostree-remount.service.`

Also add an API to instruct the libostree shared library
that the caller has created a new mount namespace.  This way
we can freely remount read-write.

This approach extends upon in a much better way previous work
we did to support remounting `/boot` read-write.

Closes: https://github.com/ostreedev/ostree/issues/1265

finalize-staged: Use the core option parsing to load sysroot

Prep for using the default mount namespace handling there that
will land as part of the read-only `/sysroot` and `/boot` work.
See https://github.com/ostreedev/ostree/issues/1265

Merge pull request #1981 from cgwalters/release-2019.6

Release 2019.6

Post-release version bump

Release 2019.6

Nothing really big here, but let's get a release out
so some bigger things like ro-sysroot, signing, sizes can
bake in master for a bit.

Merge pull request #1221 from cgwalters/pull-basic-auth

    pull: Add support for basic auth

pull: Add support for basic auth

This has been requested a few times for people delivering
OSTree content and wanting to do access control.

Merge pull request #1980 from ssssam/sam/readme-buildstream-tweak

README.md: Tweak text about BuildStream

README.md: Tweak text about BuildStream

BuildStream no longer uses libostree internally (see
https://gitlab.com/BuildStream/buildstream/issues/387). It still
has first class support for interoperating with libostree repos.

Merge pull request #1978 from agners/fix-build-race

Avoid race condition when building outside of source tree

Avoid race condition when building outside of source tree

When building outside of source tree it can happen that src/ostree/
does not exist (yet) when bison is called. This leads to an build
error like so:
  bison: src/ostree/parse-datetime.c: cannot open: No such file or directory

Make sure that src/ostree/ exists when parse-datetime.c is built.

Merge pull request #1976 from cgwalters/repo-finder-test

tests/repo-finder: Run realpath() on /tmp

tests/repo-finder: Run realpath() on /tmp

This fixes running this test case inside
https://github.com/cgwalters/coretoolbox

Merge pull request #1968 from ptomato/ostree-async-progress-copy-state

libostree: Add ostree_async_progress_copy_state()

libostree: Add ostree_async_progress_copy_state()

This allows copying the state from one OstreeAsyncProgress object to
another, atomically, without invoking the callback. This is needed in
libflatpak, in order to chain OstreeAsyncProgress objects so that you
can still receive progress updates when iterating a different
GMainContext than the one that the OstreeAsyncProgress object was
created under.

See https://github.com/flatpak/flatpak/pull/3211 for the application of
this API.

Bump version in symbols file

There were no new symbols in 2019.5 and this version didn't get bumped
when 2019.5 was released.

Merge pull request #1909 from rfairley/rfairley-kargs-order-entries

lib/kernel-args: Store kernel args as key/value entries

Merge pull request #1971 from akiernan/us-tests-dir

build: create tests directory for split builds

Merge pull request #1972 from cgwalters/bump-libglnx-20191108

Bump libglnx

Bump libglnx

This has a few fixes, mainly I want to get this in
as prep for fs-verity.

Update submodule: libglnx

```
Alex Kiernan (1):
      macros: Add TEMP_FAILURE_RETRY for musl

Alexander Larsson (1):
      Add glnx_open_anonymous_tmpfile_full() allowing you to specify the directory

Colin Walters (8):
      Merge branch 'shutil-rm-rf-errprefix' into 'master'
      Merge branch 'us-temp-failure-retry' into 'master'
      Merge branch 'anonymous-tmpfile-dir' into 'master'
      Merge branch 'meson-older-compilers' into 'master'
      fdio: Add glnx_tmpfile_reopen_rdonly()
      Merge branch 'reopen-rdonly' into 'master'
      build-sys: Add libglnx-testlib.c to Automake
      Merge branch 'testlib-automake' into 'master'

Jonathan Lebon (1):
      Merge branch 'uchar' into 'master'

Simon McVittie (5):
      missing: Remove unused <uchar.h>
      Run the fdio test in its own temporary directory
      meson: Define HAVE_DECL_FOO to 0 if foo isn't declared
      Make the Meson build work on older compilers
      CI: Target a Fedora stable release

Will Thompson (3):
      Add meson.build files
      Document using this as a Meson subproject
      Add GitLab CI

```

build: create tests directory for split builds

When `--disable-dependency-tracking` is in effect with separate build
directory, the tests directory isn't created as a result of the
dependency generation, which leads to a build race for the tests
directory being created and failures:

  Making all in .
  make[2]: Entering directory 'TOPDIR/build/tmp/work/riscv64-yoe-linux-musl/ostree/2019.5-r0/build'
  (echo '[Test]' > tests/test-local-pull-depth.sh.test.tmp; \
  echo 'Type=session' >> tests/test-local-pull-depth.sh.test.tmp; \
  echo 'Exec=env G_TEST_SRCDIR=/usr/libexec/installed-tests/libostree G_TEST_BUILDDIR=/usr/libexec/installed-tests/libostree /usr/libexec/installed-tests/libostree/test-local-pull-depth.sh' >> tests/test-local-pull-depth.sh.test.tmp; \
  mv tests/test-local-pull-depth.sh.test.tmp tests/test-local-pull-depth.sh.test)
  /bin/sh: tests/test-local-pull-depth.sh.test.tmp: No such file or directory
  /bin/sh: line 1: tests/test-local-pull-depth.sh.test.tmp: No such file or directory
  /bin/sh: line 2: tests/test-local-pull-depth.sh.test.tmp: No such file or directory
  mv: cannot stat 'tests/test-local-pull-depth.sh.test.tmp': No such file or directory
  make[2]: *** [Makefile:9282: tests/test-local-pull-depth.sh.test] Error 1

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

lib/kernel-args: Store kernel args as key/value entries

Define an `OstreeKernelArgsEntry` structure, which holds
both the key and the value. The kargs order array stores
entries for each key/value pair, instead of just the keys.
The hash table is used to locate entries, by storing
entries in a pointer array for each key. The same public
interface is preserved, while maintaining ordering
information of each key/value pair when
appending/replacing/deleting kargs.

Fixes: #1859

Merge pull request #1970 from cgwalters/keyfile-group-not-found

lib/keyfile: Treat "group not found" the same as "key not found"

lib/keyfile: Treat "group not found" the same as "key not found"

Prep for fsverity, where I want to create a new group
`[fsverity]` in the keyfile that has default values.  We should
treat the absence of a group the same as absence of a key
in these "with defaults" APIs.

Merge pull request #1969 from ricardosalveti/master

Makefile: declare ostree_boot_SCRIPTS and append values

Makefile: declare ostree_boot_SCRIPTS and append values

ostree_boot_SCRIPTS was being set on both Makefile-boot.am and
Makefile-switchroot.am, causing the first one to be replaced by the
other at the final Makefile, so declare as empty and append on both
places instead.

Signed-off-by: Ricardo Salveti <ricardo@foundries.io>

Merge pull request #1966 from akiernan/us-musl-tests

Fix tests with musl

Merge pull request #1965 from akiernan/us-lc-all-en-us

tests/core: Fallback to en_US.UTF-8 locale

tests: Avoid musl failure with `cp -a`

When copying the tree, using musl and GNU coreutils, something gets confused
when setting the ownership of symlinks and the copy fails with:

  cp: failed to preserve ownership for osdata-devel/bin: Not supported

Rework using tar to avoid the problem.

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

tests/core: Assume C.UTF-8 if locale isn't found

When building with musl there's no locale command, also its default
locale is C.UTF-8, so just get C.UTF-8 if we can't find locale.

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

tests: Handle EPIPE failures when head terminates

When using musl, it appears that the default is line buffered output, so
when `head -1` reads from a pipe we have to handle the source end of the
pipe getting EPIPE.

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

tests/core: Fallback to en_US.UTF-8 locale

A number of tests expect explicit left/right single quotes in their
messages, which will never happen in the C locale. Change so we pick a
likely UTF-8 locale, or fail if we can't find one.

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

Merge pull request #1963 from cgwalters/release

Release 2019.5

Post-release version bump

Release 2019.5

Merge pull request #1962 from jlebon/pr/support-hmac

lib/deploy: Also install HMAC file into /boot

lib/deploy: Also install HMAC file into /boot

To allow for FIPS mode, we need to also install the HMAC file from
`/usr/lib/modules` to `/boot` alongside the kernel image where the
`fips` dracut module will find it. For details, see:

https://github.com/coreos/fedora-coreos-tracker/issues/302

Note I didn't include the file in the boot checksum since it's itself a
checksum of the kernel, so we don't really gain much here other than
potentially causing an unnecessary bootcsum bump.

Merge pull request #1953 from uajain/uajain/fix-memory-leak

async-progress: Plug memory leak while destroying GSource

Merge pull request #1961 from jlebon/pr/refine-gsource

lib/pull: Tweak update_timeout logic again

lib/pull: Tweak update_timeout logic again

I was hitting `SIGSEGV` when running `cosa build` and narrowed it down
to #1954. What's happening here is that because we're using the default
context, when we unref it in the out path, it may not actually destroy
the `GSource` if it (the context) is still ref'ed elsewhere. So then,
we'd still get events from it if subsequent operations iterated the
context.

This patch is mostly a revert of #1954, except that we still keep a ref
on the `GSource`. That way it is always safe to destroy it afterwards.
(And I've also added a comment to explain this better.)

async-progress: Plug memory leak while destroying GSource

See https://gitlab.gnome.org/GNOME/glib/commit/71973c722

Merge pull request #1955 from cgwalters/revert-grub2-exit

Revert grub2 exit, add new grub2: Honor /boot/.grub2-bls-enabled

Merge pull request #1956 from akiernan/us-test-export

tests/export: Guard with check for libarchive

tests/export: Guard with check for libarchive

If we are built without libarchive support, this test fails:

  error: This version of ostree is not compiled with libarchive support
  ...
  ERROR: tests/test-export.sh - too few tests run (expected 5, got 0)
  ERROR: tests/test-export.sh - exited with status 1

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

Revert "grub2: Exit gracefully if the configuration has BLS enabled"

This reverts commit 985a14100295c99d0c6d712bfbee0ec52a3a1601.
It turned out that some people have old bootloaders, and hence
get the "no entries" problem.  That's much, much much worse
than double entries.

Merge pull request #1954 from jlebon/pr/update-timeout

lib/pull: Avoid calling destroy on unref'ed GSource

Merge pull request #1952 from cgwalters/trivial-rename

build-sys: Rename internal conditionals for trivial-httpd

lib/pull: Avoid calling destroy on unref'ed GSource

We're creating the timer source and then passing ownership to the
context, but because we didn't free the pointer, we would still call
`g_source_destroy` in the exit path. We'd do this right after doing
`unref` on the context too, which would have already destroyed and
unref'ed the source.

Drop that and just restrict the scope of that variable down to make
things more obvious.

Just noticed this after reviewing #1953.

build-sys: Cleanup handling for trivial-httpd-cmdline

This way it's clearer this bit is only about the CLI entrypoint
also living in `ostree trivial-httpd`, not the underlying
`ostree-trivial-httpd` binary that's separate now.

Delete the automake conditional for this, and make the manpage
conditional use `if USE_LIBSOUP` the same way the C build does.

Suggested-by: Jonathan Lebon <jonathan@jlebon.com>

Merge pull request #1950 from akiernan/us-revert-trivial-httpd

Revert trivial httpd changes (#1912)

Revert "Always enable trivial-httpd for tests"

This reverts commit 82699a67dbb6bfcc9452bb969e7872809232a84f.

Revert "Gate ostree-trivial-httpd on BUILDOPT_TRIVIAL_HTTPD"

This reverts commit 83d44ac20ae80d74e05d89744fd1fbd4f45b7fba.

Merge pull request #1947 from cgwalters/more-scan-build-2

More scan build 2

Merge pull request #1949 from dbnicholson/no-g-gnuc-function

repo: Stop using deprecated G_GNUC_FUNCTION

repo: Stop using deprecated G_GNUC_FUNCTION

In glib 2.62 this has been changed to emitting a warning. Use G_STRFUNC
instead, which has been available for a long time and is already used in
other places in ostree.

lib/checksum-utils: Use g_memdup()

This is clearer and silences a scan-build warning.

tests: [scan-build] Initialize a variable

False positive.

lib: Port variant-builder.c to new style

Seeing `scan-build` warning here, prep for fixing it.

tests: Port keyfile test to new style

Just noticed in passing.

lib/pull: [scan-build] Silence a dead store warning

This one was actual duplicate code.

lib/repo: [scan-build] Quiet a dead store warning

False positive, just add a pacifier.

tree-wide: [scan-build] Fix some dead stores

No real issues, just quieting the scanner.

Merge pull request #1945 from cgwalters/papr-trim

ci: Trim PAPR config to drop required flag

Merge pull request #1943 from cgwalters/more-scan-build

More scan build

ci: Trim PAPR config to drop required flag

Same as https://github.com/coreos/rpm-ostree/pull/1923
Quoting that rationale:

> Since we're not using Homu anymore (and Tide instead looks at
> all statuses by default), let's just drop it. This brings down the
> number of statuses on PRs by one more (and so one less context to
> override when needed).

Merge pull request #1912 from akiernan/us-fix-trivial-httpd

Gate ostree-trivial-httpd on BUILDOPT_TRIVIAL_HTTPD

Merge pull request #1937 from cgwalters/zipl-backend

 bootloader: Add a zipl bootloader backend

Merge pull request #1931 from cgwalters/covscan-fixes

libotutil: Port keyfile-utils.c to new style

Merge pull request #1942 from cgwalters/build-installdeps

ci: Skip all yum operations if SKIP_INSTALLDEPS is set

bootloader: Add a zipl bootloader backend

zipl is a bit special in that it parses the BLS config files
directly *but* we need to run the command to update the "boot block".

Hence, we're not generating a separate config file like the other
backends.  Instead, extend the bootloader interface with a `post_bls_sync`
method that is run in the same place we swap the `boot/loader` symlink.

We write a "stamp file" in `/boot` that says we need to run this command.
The reason we use stamp file is to prevent the case where the system is
interrupted after BLS file is updated, but before zipl is triggered,
then zipl boot records are not updated.
This opens the door to making things eventually-consistent/reconcilable
by later adding a systemd unit to run `zipl` if we're interrupted via
a systemd unit - I think we should eventually take this approach
everywhere rather than requiring `/boot/loader` to be a symlink.

Author: Colin Walters <walters@verbum.org>
Tested-by: Tuan Hoang <tmhoang@linux.ibm.com>
Co-Authored-By: Tuan Hoang <tmhoang@linux.ibm.com>

prune: [scan-build] Initialize a variable

Another false positive because we only read this if `opt_keep_younger_than` is `TRUE`,
but let's initialize variables on general principle.

tree-wide: [scan-build]: Add some asserts that pointers are non-NULL

More "scan-build doesn't understand GError and our out-param conventions"
AKA "these errors would be impossible with Rust's sum type Result<> approach".

commit: [scan-build] Remove a dead assignment

The `write_commit()` API defaults to current time, and
this assignment became dead in:
https://github.com/ostreedev/ostree/commit/8ba90a33410c9707a30a77f808a7ec712d465165

ci: Skip all yum operations if SKIP_INSTALLDEPS is set

This is used by our OpenShift Prow job; we use the
cosa buildroot container:

https://github.com/coreos/coreos-assembler/pull/730

And using `yum` at all means we can flake on fetching rpm metadata.

libotutil: Port keyfile-utils.c to new style

I was trying to fix a clang `scan-build` error that jlebon
ended up tracking down in
https://github.com/ostreedev/ostree/pull/1939/commits/9344de1ce1e8c185e01988277606ba1ed7f9d16b

But in the process of tracing through this I found it
way easier to read as "new style" code, so this also ports the
code.

I added a `g_assert()` in there too to help assert that
`g_key_file_get_value` won't leak in the error path.

Merge pull request #1932 from cgwalters/covscan-fixes-2

libostree: Add an assert to pacify clang-analyzer

Merge pull request #1939 from jlebon/pr/fix-keyfile-leak

src/libotutil: Fix strv memory leak

src/libotutil: Fix strv memory leak

We were only freeing the array and not the members.

Caught by `clang-analyzer` in:
https://github.com/ostreedev/ostree/pull/1931

Merge pull request #1933 from cgwalters/scan-build-0

A few more scan-build fixes

repo: [scan-build]: Mark a variable used

We're just using this to auto-free, quiet the static analysis.

sysroot: [scan-build] Remove a dead assignment

Just quieting the scan.

sysroot: [scan-build]: Remove a dead assignment

Clarify the conditionals here and remove a dead assignment.

repo: [scan-build] Initialize a variable

Another GLib error convention issue; but eh, we might as
well be conservative and always initialize variables.

libostree: Add an assert to pacify clang-analyzer

Got this error when trying to rebase libostree in RHEL:

```
Error: CLANG_WARNING: [#def1]
libostree-2019.2/src/libostree/ostree-repo-checkout.c:375:21: warning: Access to field 'disable_xattrs' results in a dereference of a null pointer (loaded from variable 'repo')
```

I think what's happening is it sees us effectively testing
`if (repo == NULL)` via the `while (current_repo)`.  Let's
tell it we're sure it's non-null right after the loop.

Merge pull request #1938 from cgwalters/owners-file

OWNERS: New file

OWNERS: New file

I tried to balance reflecting the reality of who works on libostree
today with keeping some of the existing committers - particularly
committers from multiple organizations.

Part of switching libostree over to OpenShift Prow.

Merge pull request #1934 from cgwalters/mkdir-artifacts

ci: Make ${ARTIFACTS} directory

ci: Make ${ARTIFACTS} directory

It may not exist in OpenShift Prow by default.

ci: Honor ARTIFACTS environment variable

This is set by the OpenShift Prow pod-utils:
https://github.com/openshift/test-infra/blob/master/prow/pod-utilities.md

Prep for having OSTree use that.

Closes: #1930
Approved by: jlebon

Gate ostree-trivial-httpd on BUILDOPT_TRIVIAL_HTTPD

When building without --enable-trivial-httpd-cmdline, don't build or install
the ostree-trivial-httpd binary.

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

Always enable trivial-httpd for tests

When running tests we always need ostree-trivial-httpd, so enable it
unconditionally

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

grub2: Exit gracefully if the configuration has BLS enabled

Since Fedora 30 grub2 has support to populate its menu entries from the
BootLoaderSpec fragments in /boot/loader/entries, so there's no need to
generate menu entries anymore using the /etc/grub.d/15_ostree script.

But since ostree doesn't update the bootloader, it may be that the grub2
installed is an old one that doesn't have BLS support.

For new installs, GRUB_ENABLE_BLSCFG=true is set in /etc/default/grub to
tell the /etc/grub.d/10_linux script if a blscfg command has to be added
to the generated grub2 config file.

So check if BLS is enabled in /etc/default/grub and only add the entries
if that's not the case. Otherwise the menu entries will be duplicated.

The approach has the drawback that if a user sets GRUB_ENABLE_BLSCFG=true
in /etc/default/grub without updating grub2, they will get an empty menu.
Since there won't be any entries created by the 30_ostree script and the
blscfg command won't work on the older grub2.

Unfortunately there is no way to know if the installed grub2 already has
BLS support or not.

Related: https://bugzilla.redhat.com/show_bug.cgi?id=1751272#c27

Closes: #1929
Approved by: jlebon

configure.ac: Add more details on how to do a release

Closes: #1928
Approved by: cgwalters

Post-release version bump

Closes: #1927
Approved by: cgwalters

Release 2019.4

Tiny release. Just want to get out the important bugfixes instead of
backporting patches (notably the gpg-agent stuff and
`ostree-finalize-staged.service` ordering).

Closes: #1927
Approved by: cgwalters

boot/finalize-staged: Run after systemd-journal-flush.service

In Fedora 31, `systemd-journal-flush.service` uses a new
`--smart-relinquish-var` switch which fixes the
`umount: /var: target is busy` bug by telling journald to stop logging
to `/var` and back to `/run` again during shutdown.

This interacted with `ostree-finalize-staged.service` in a tricky way:
since we weren't strongly ordered against it, when we happened to
finalize after `/var` is relinquished, we never persisted the output
from that service to disk. This then threw off `rpm-ostree status` when
trying to find the completion message to know that finalization went
well.

Just fix this by adding an explicit `After=` on that unit. That way we
shut down *before* `systemd-journal-flush.service` (the `/var`
relinquish bit happens in its `ExecStop=`).

For more info, see:
https://github.com/systemd/systemd/commit/3ff7a50d66e3f851d3d9f132b740a7fb2055aa1d
https://github.com/systemd/systemd/commit/1e187d2dd52cbb4f0bb30e4d96acf7f72a145b91
https://bugzilla.redhat.com/show_bug.cgi?id=1751272

Closes: #1926
Approved by: cgwalters